home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / infosrvr / dev / www_talk.930 / 001511_daemon _Wed Jun 30 21:32:47 1993.msg < prev    next >
Internet Message Format  |  1994-01-24  |  2KB
  1. Received: by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  2.     id AA11495; Wed, 30 Jun 93 21:32:49 MET DST
  3. Return-Path: <stellr@smyrna.cc.vt.edu>
  4. Received: from dxmint.cern.ch by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  5.     id AA11491; Wed, 30 Jun 93 21:32:47 MET DST
  6. Received: from [128.173.4.58] by dxmint.cern.ch (5.65/DEC-Ultrix/4.3)
  7.     id AA04086; Wed, 30 Jun 1993 21:56:10 +0200
  8. Received: by smyrna.cc.vt.edu (5.65/DEC-Ultrix/4.3)
  9.     id AA01276; Wed, 30 Jun 1993 15:59:38 -0400
  10. From: stellr@smyrna.cc.vt.edu (Ray Stell)
  11. Message-Id: <9306301959.AA01276@smyrna.cc.vt.edu>
  12. Subject: Re: searchable index of the web
  13. To: mkgray@athena.mit.edu
  14. Date: Wed, 30 Jun 93 15:59:37 EDT
  15. Cc: www-talk@nxoc01.cern.ch
  16. In-Reply-To: <9306301905.AA25385@uranus.MIT.EDU>; from "mkgray@athena.mit.edu" at Jun 30, 93 3:05 pm
  17. X-Mailer: ELM [version 2.3 PL4]
  18.  
  19. > 
  20. > I have written a perl script that wanders the WWW collecting URLs, keeping
  21. > tracking of where it's been and new hosts that it finds.  Eventually,
  22. > after hacking up the code to return some slightly more useful information
  23. > (currently it just returns URLs), I will produce a searchabe index of this.
  24. > There is a complete list of all the sites it has found at
  25. > 
  26. > <a href="http://www.mit.edu:8001/afs/sipb/user/mkgray/ht/comprehensive.html">
  27. > A complete list of sites found by the W4 (World Wide Web Wanderer)
  28. > </a>
  29. > 
  30. > I'll announce here when we get this index properly running, however it probably
  31. > won't be until sometime in August, as I am going on vacation.  Until then...
  32. > 
  33. >                     Matthew Gray
  34. >                     mkgray@athena.mit.edu
  35. > 
  36. > Visit the SIPB WWW Plexus Server.  URL: http://www.mit.edu:8001/
  37. > 
  38.  
  39.  
  40. This sounds good, better than depending on my memory.  Will w4
  41. crack open an log the <Title> or is this directory tree oriented?
  42. If I'm running a server, how will you know to wander to it?  
  43. Should there be a web of wanderers (w5?) so w4e in Europe can
  44. feed from w4u in the US, etc?  Why is this topic such a quiet one? 
  45. ======================================================================
  46. Ray Stell        stellr@smyrna.cc.vt.edu        (703) 231-4109